package com.shujia.core

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Demo04FlatMap {
  def main(args: Array[String]): Unit = {
    /**
     * flatMap：也会对数据一条一条处理，传入一条数据返回多条数据
     * 类似SQL中的explode
     */

    val conf: SparkConf = new SparkConf()
    conf.setAppName("Demo04FlatMap")
    conf.setMaster("local")

    val sc: SparkContext = new SparkContext(conf)

    val lineRDD: RDD[String] = sc.textFile("spark/data/words.txt")

    // 将每一行数据中的每个单词切分出来，并且将每个单词转换成一行数据
    lineRDD.flatMap(_.split(",")).foreach(println)


  }

}
